package com.SparkCore.RDD.Builder

import org.apache.spark.{SparkConf, SparkContext}

/**
 * 从内存中创建RDD
 */
object Spark01_RDD_Memory_Par {
  def main(args: Array[String]): Unit = {

    //准备环境
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD") //setMaster("Local[*]") 表示默认核数
    val sc = new SparkContext(sparkConf)

    //创建RDD
    //RDD的并行度 & 分区
    //makeRDD 方法可以传递第二个参数，这个参数表示的时分区的数量
    //第二个参数不传递的话，那么RDD就会使用默认值 defaultParallelism
    //如果没有配的话就时默认值 ，获取不到配置参数就ihui使用totalCores 属性，这个属性取值为当前运行环境的最大可用核数
    val rdd = sc.makeRDD(
      List(1, 2, 3, 4, 5, 6)

    )
    //将分区出来数据进行存储位置文件夹
    rdd.saveAsTextFile("output")

    //关闭环境
    sc.stop()
  }
}
